• Năm 12 tuổi, ông đã được chọn sang Thái Lan học tập, được kết nạp vào Đội Thiếu niên tiền phong. Thời kỳ ở Thái Lan, ông được Hồ Chí Minh chọn làm người liên lạc với bí danh Thầu Chín.
• Năm 1933 Hoàng Sâm gia nhập Đảng Cộng sản Đông Dương.
• Sau đó, ông sang Trung Quốc rồi trở về Cao Bằng, tham gia Tỉnh ủy Cao Bằng.
• Năm 1938, ông tham gia đội du kích kháng Nhật của Đảng Cộng sản Trung Quốc, hoạt động dọc biên giới Việt-Trung.
• Cuối năm 1940, Hoàng Sâm được cử đi dự lớp huấn luyện cán bộ do Hồ Chí Minh, Phạm Văn Đồng, Võ Nguyên Giáp và Vũ Anh mở ở tỉnh Quảng Tây, Trung Quốc. Lúc này, ông là Tỉnh ủy viên tỉnh Cao-Bắc-Lạng (Cao Bằng - Bắc Kạn - Lạng Sơn).
• Tháng 11 năm 1941, khi tiểu đội du kích thoát ly đầu tiên của Cao Bằng gồm 12 người được thành lập, ông được cử làm Tiểu đội phó.
• Ngày 22 tháng 12 năm 1944, đội Việt Nam Tuyên truyền giải phóng quân được thành lập, Hoàng Sâm được chọn làm đội trưởng (lúc đó ông Xích Thắng (tức Dương Mạc Thạch) làm chính trị viên). Ông đã chỉ huy đội đánh các đồn Phai Khắt, Nà Ngần. Sau những chiến thắng đầu tiên này, đội Việt Nam Tuyên truyền giải phóng quân phát triển thành một đại đội gồm ba trung đội và Hoàng Sâm được cử làm đại đội trưởng. Thời gian sau, đội phát triển thành chi đội (tức tiểu đoàn), Hoàng Sâm trở thành Chi đội trưởng Giải phóng quân.
• Trong kháng chiến chống Pháp, ông được cử làm Khu trưởng Liên khu 2 (kế nhiệm ông Văn Tiến Dũng), Khu trưởng Liên khu 3 (1946-1950), Chỉ huy mặt trận Tây Tiến[1]. Ngày 1 tháng 1 năm 1948, Chủ tịch Hồ Chí Minh ký sắc lệnh số 111/SL phong quân hàm Thiếu tướng cho ông (cùng đợt phong với 8 Thiếu tướng khác).
• Năm 1953, ông làm Đại đoàn trưởng Đại đoàn (sư đoàn) 304. Ông từng làm chỉ huy trưởng Mặt trận Trung Lào, tham gia giải phóng thị xã Thà Khẹt. Sau đó ông được cử làm Đại đoàn trưởng Đại đoàn 320.
• Năm 1955 ông tham gia tiếp quản Hải phòng, được cử làm Phó Chủ tịch Ủy ban Quân chính.[2]
• Tháng 6/1957 ông làm Tư lệnh Quân khu Tả Ngạn.
• Trong kháng chiến chống Mỹ, ông làm Tư lệnh Quân khu 3, Tư lệnh Quân khu Hữu ngạn, Tư lệnh Quân khu Trị-Thiên
• Ông hy sinh ngày 15 tháng 12 năm 1968 tại chiến trường Trị-Thiên ở tuổi 53.

Ông đã có 41 năm liên tục công tác và chiến đấu trong Quân đội nhân dân Việt Nam.

Ông được truy tặng Huân chương Hồ Chí Minh năm 1999.Tên của ông được UBND TP Hà nội đặt cho một con đường ở quận Cầu Giấy.